Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation
小视觉语言模型知道错了但说不出来：真实图像退化下的内部与口头置信度对比
🧭 小模型自我认知与置信度评估
Independent Researcher
小VLM的口头置信度近乎恒定且无法检测错误，但内部token概率却能有效分离正确与错误答案
📌 工作参考价值（4 点）
- 用内部 token 概率做 deferral 信号：当小 VLM 用于商品图片理解、图像文本审核等任务时，直接解析模型输出的口头置信度（如"我确定答案是..."）并不可靠，应改用生成序列的平均 token 概率作为置信度指标，尤其在模型需要自动放弃回答的场景。
- 低质量图像输入要双重预警：在用户上传图片可能严重欠曝/模糊的实际业务中（如直播间截图、用户随手拍），内部概率的 error detection AUROC 会骤降到随机水平，此时应结合图像质量评估模块，严重退化时直接拒绝模型输出，不再依赖任何置信度。
- 小模型的 uncertainty 并不体现在口语化表达里：Qwen2-VL-2B 的口头置信度均值稳定在 0.87-0.90，几乎不随输入质量或答案正确性变化，说明对小模型做 prompt engineering 让其自我评估准确性几乎是无效的，必须依赖 hidden state 或 token 概率等信息。
- SmolVLM 的口头置信度解析成本高到不可用，尝试三种 prompt 模板只有一次成功解析出置信度值，这提醒我们在工程化时，若模型输出格式不可控，则结构化置信度输出方案需要更严格的约束（如强制 JSON 格式），否则直接使用内部概率是更稳定的选择。